Menggunakan wiki untuk mencipta kandungan ensiklopedia dicadangkan di khalayak ramai oleh Larry Sanger pada 10 Januari 2001. Wiki itu disediakan oleh Wales dan bermula pada 15 Januari 2001. Pada waktu itu, Wikipedia merupakan tapak berdasarkan wiki yang bertujuan untuk orang biasa bekerjasama mencipta kandungan ensiklopedia yang awal sebelum diserahkan kepada Nupedia untuk penilaian setara. Pertumbuhan Wikipedia yang begitu pesat kemudian menyebabnya menjadi projek utama, dan Nupedia kemudian tersimpan.

Sanger meninggalkan projek itu pada tahun 2003, dan memaparkan peletakan jawatannya dalam halaman pengguna Wikipedianya. Sejak masa itu, beliau telah mengkritikkan pendekatan Wales terhadap projek itu, dan memerikan Wales sebagai "anti elitis yang nyata sekali". Wales membantah pemerian itu dalam temu bual C-SPAN, dan mendakwa bahawa beliau bukannya anti elitis tetapi "mungkinnya anti bukti kelayakan. Bagi saya, perkara yang utama ialah membuat sesuatu dengan betul. Dan jika seseorang itu adalah benar-benar bijak dan mereka tengah melaksanakan kerja yang hebat, saya tidak peduli jika mereka merupakan budak sekolah tinggi ataupun profesor Harvard; adalah kerja yang benar-benar penting... Anda tidak boleh meluncur dengan bukti kelayakan di Wikipedia... Anda harus memasuki pasaran gagasan dan melibatkan diri dengan orang lain."

Pada pertengahan 2003, Wales menubuhkan Yayasan Wikimedia, sebuah pertubuhan bukan untung di St. Petersburg, Florida, untuk menyokong Wikipedia dan projek-projek kembar yang lebih baru. Beliau melantik diri dan dua pekongsi perniagaannya yang bukan ahli Wikipedia yang aktif kepada lembaga lima ahli; dua orang ahli yang tinggal diperuntukkan untuk wakil-wakil komuniti. Langkah ini bukan sahaja dapat melegakan Wales dan Bomis daripada sebarang beban untuk menyokong pembiayaan Wikipedia yang semakin meningkat, tetapi ia juga dapat mengekalkan jawatan pimpinan dalam Yayasan itu untuk seumur hidupnya. Jawatannya itu tidak tertakluk kepada pemilihan.

Pada tahun 2004, Wales disebut sebagai berkata bahawa beliau telah membelanjakan di lingkungan AS$500,000 untuk mengasaskan dan mengendalikan projek-projek Wikinya. Sejak kempen penubuhan tabung yayasan pada Februari 2005, Yayasan Wikimedia dibiayai sepenuhnya oleh bantuan dan derma. Wales semakin terlibat dalam promosi dan percakapan tentang projek-projek yayasan. Untuk mencapai matlumat itu, beliau membuat perjalanan ke persidangan-persidangan dan majlis-majlis Wikimedia (seperti "Wikimeets" dan Wikimania). Belanja untuk perjalanannya dibiayai oleh peruntukan perjalanan Yayasan (AS$25,000 pada tahun 2005). Beliau kerap diambil sebagai penceramah.

Perbalahan tentang asal Wikipedia

Sedangkan Larry Sanger merujuk kepada dirinya sendiri sebagai pengasas bersama untuk Wikipedia seawal Januari 2002, Wales mengatakan bahawa beliau selalu menganggap diri sebagai pengasas Wikipedia yang tunggal. Pemberita-pemberita sering merujuk kepada Sanger dan Wales sebagai pengasas bersama, tetapi ini bermula bertukar selepas pemergian Sanger. Umpamanya, sebuah rencana Majalah Newsweek pada tahun 2004 menyatakan bahawa "[Wales] mencipta Wikipedia", tanpa menyebut nama Sanger.

Sanger telah mempertikaikan kenyataan tegas ini dengan hebat, dan menuntut bahawa, selain daripada memperkembangkan Wikipedia pada fasa awal, beliau juga menyumbang kepada gagasan untuk mempergunakan konsep wiki untuk membina sebuah ensiklopedia yang bebas. Tidak dapat dipertikaikan bahawa Sanger mencipta nama "Wikipedia" untuk projek ini. Sanger berkata: "Saya mengingati dengan amat jelas petang itu yang saya mendapat gagasan untuk Wikipedia". Bagaimanapun, beliau mengatakan bahawa gagasan yang lebih umum merupakan gagasan Wales: "Supaya dapat gambaran yang jelas, gagasan untuk ensiklopedia kerjasama sumber terbuka yang dibukakan untuk sumbangan orang biasa merupakan gagasan Jimmy pada seluruhnya, bukan gagasan saya, dan seluruh pembiayaan ditanggung oleh Bomis. Perkembangan ensiklopedia yang sebenarnya merupakan tugas yang diberikan kepada saya."

Wales memberi penghargaan kepada seorang kakitangan Bomis yang bernama Jeremy Rosenfeld sebagai orang yang "pada mula-mulanya mewujudkan gagasan untuk mencipta sebuah ensiklopedia berdasarkan wiki", walaupun beliau mengakui bahawa tiadanya kaitan sebab akibat antara cadangan ini dengan penciptaan Wikipedia.

Pada lewat 2005, suatu perbalahan yang berkaitan tertimbul mengenai Wales dan pemasukan Wikipedia terhadap dirinya sendiri. Selepas Majalah Wired meneruskan penemuan oleh Rogers Cadenhead, Wales mengesahkan bahawa beliau telah (dengan ternyata dan di bawah namanya sendiri) menyunting biografi dirinya sendiri di Wikipedia. Secara amnya, amalan ini tidak disukai dan tidak dibenarkan oleh komuniti Wikipedia dan Wales sendiri.

Suntingan Wales pada 28 Oktober, 9 November, dan 2 Disember 2005 adalah selaras dengan pandangannya bahawa Larry Sanger harus tidak menganggap diri sebagai pengasas bersama untuk Wikipedia. Sewaktu sebilangan penyunting memulihkan suntingannya, Wales mengulanginya dua kali. Suntingan-suntingannya menukarkan rujukan-rujukan yang tertentu terhadap asal Wikipedia serta menukarkan pemerian terhadap Bomis. Dalam temu bual Wired, Wales berkata, "Pengguna-pengguna harus tidak patut membuatnya, termasuk saya. Saya mengingini bahawa saya tidak berbuat demikian". Rencana Wikipedia itu juga menunjukkan bahawa Wales cuba mengelakkan stigma sosial yang diakibatkan oleh gambar-gambar dewasa yang digelarkan 'Wanita Bomis' (Bomis Babes) dalam rencana Bomis di Wikipedia.